S3のファイルを参照してみた | Luigi Advent Calendar 2016 #09
はじめに
好物はインフラとフロントエンドのかじわらゆたかです。
このエントリは『Luigi Advent Calendar 2016』9日目の内容となります。
今回はLuigiのS3モジュールの挙動について調べてみたいと思います。
先日8日目はタスクの結果をS3に保存してみたでした。
下準備編
S3に以下が配置されていることを前提とします。
1 Customer#000000001 IVhzIApeRb MOROCCO 0 MOROCCO AFRICA 25-989-741-2988 BUILDING 2 Customer#000000002 XSTf4,NCwDVaWNe6tE JORDAN 1 JORDAN MIDDLE EAST 23-768-687-3665 AUTOMOBILE 3 Customer#000000003 MG9kdTD ARGENTINA7 ARGENTINA AMERICA 11-719-748-3364 AUTOMOBILE 4 Customer#000000004 XxVSJsL EGYPT 4 EGYPT MIDDLE EAST 14-128-190-5944 MACHINERY 5 Customer#000000005 KvpyuHCplrB84WgAi CANADA 5 CANADA AMERICA 13-750-942-6364 HOUSEHOLD 6 Customer#000000006 sKZz0CsnMD7mp4Xd0YrBvx SAUDI ARA2 SAUDI ARABIA MIDDLE EAST 30-114-968-4951 AUTOMOBILE 7 Customer#000000007 TcGe5gaZNgVePxU5kR CHINA 0 CHINA ASIA 28-190-982-9759 AUTOMOBILE 8 Customer#000000008 I0B10bB0AymmC, 0PrRYBC PERU 6 PERU AMERICA 27-147-574-9335 BUILDING 9 Customer#000000009 xKiAFTjUsCuxfele INDIA 6 INDIA ASIA 18-338-906-3675 FURNITURE 10 Customer#000000010 6LrEaV6KR6PLVcgl2ArL ETHIOPIA 9 ETHIOPIA AFRICA 15-741-346-9870 HOUSEHOLD
11 Customer#000000011 PkWS 3HlXqwTuz UNITED KI3 UNITED KINGDOM EUROPE 33-464-151-3439 BUILDING 12 Customer#000000012 9PWKuhzT JORDAN 5 JORDAN MIDDLE EAST 23-791-276-1263 HOUSEHOLD 13 Customer#000000013 nsXQu0oVjD7PM6 CANADA 8 CANADA AMERICA 13-761-547-5974 BUILDING 14 Customer#000000014 KXkletMlL ARGENTINA0 ARGENTINA AMERICA 11-845-129-3851 FURNITURE 15 Customer#000000015 YtWggXoOLdwdo7b0y,BZaGU UNITED KI0 UNITED KINGDOM EUROPE 33-687-542-7601 HOUSEHOLD 16 Customer#000000016 cYiaeMLZSMA IRAN 5 IRAN MIDDLE EAST 20-781-609-3107 FURNITURE 17 Customer#000000017 izrh 6jdqtp2eqdtbkswDD8 BRAZIL 6 BRAZIL AMERICA 12-970-682-3487 AUTOMOBILE 18 Customer#000000018 3txGO AiuFux3zT FRANCE 0 FRANCE EUROPE 16-155-215-1315 BUILDING 19 Customer#000000019 uc,3bHIx84H,wdrmLO CHINA 3 CHINA ASIA 28-396-526-5053 HOUSEHOLD 20 Customer#000000020 JrPk8Pq RUSSIA 0 RUSSIA EUROPE 32-957-234-8742 FURNITURE
S3のファイル参照
ファイルの参照については、ローカルファイルの参照と同様にOutputメソッドで指定したクラスを作成し、
作成したクラスをRequiresメソッドで指定することで、参照することが可能です。
import luigi
import luigi.s3
class S3Input(luigi.Task):
bucketName = luigi.Parameter(default="cm-kajiwara-luigi-study")
fileName = luigi.Parameter(default="customer.tsv")
def output(self):
return luigi.s3.S3Target("s3://{}/{}".format(self.bucketName, self.fileName))
class S3TsvColumnShow(luigi.Task):
def requires(self):
return [S3Input(fileName='customer{}.tsv'.format(d)) for d in range(2)]
def run(self):
for t in self.input():
with t.open('r') as in_file:
for line in in_file:
print line
if __name__ == '__main__':
luigi.run()
$ python UseS3.py --local-scheduler S3TsvColumnShow 1 Customer#000000001 IVhzIApeRb MOROCCO 0 MOROCCO AFRICA 25-989-741-2988 BUILDING 2 Customer#000000002 XSTf4,NCwDVaWNe6tE JORDAN 1 JORDAN MIDDLE EAST 23-768-687-3665 AUTOMOBILE 3 Customer#000000003 MG9kdTD ARGENTINA7 ARGENTINA AMERICA 11-719-748-3364 AUTOMOBILE 4 Customer#000000004 XxVSJsL EGYPT 4 EGYPT MIDDLE EAST 14-128-190-5944 MACHINERY 5 Customer#000000005 KvpyuHCplrB84WgAi CANADA 5 CANADA AMERICA 13-750-942-6364 HOUSEHOLD 6 Customer#000000006 sKZz0CsnMD7mp4Xd0YrBvx SAUDI ARA2 SAUDI ARABIA MIDDLE EAST 30-114-968-4951 AUTOMOBILE 7 Customer#000000007 TcGe5gaZNgVePxU5kR CHINA 0 CHINA ASIA 28-190-982-9759 AUTOMOBILE 8 Customer#000000008 I0B10bB0AymmC, 0PrRYBC PERU 6 PERU AMERICA 27-147-574-9335 BUILDING 9 Customer#000000009 xKiAFTjUsCuxfele INDIA 6 INDIA ASIA 18-338-906-3675 FURNITURE 10 Customer#000000010 6LrEaV6KR6PLVcgl2ArL ETHIOPIA 9 ETHIOPIA AFRICA 15-741-346-9870 HOUSEHOLD 11 Customer#000000011 PkWS 3HlXqwTuz UNITED KI3 UNITED KINGDOM EUROPE 33-464-151-3439 BUILDING 12 Customer#000000012 9PWKuhzT JORDAN 5 JORDAN MIDDLE EAST 23-791-276-1263 HOUSEHOLD 13 Customer#000000013 nsXQu0oVjD7PM6 CANADA 8 CANADA AMERICA 13-761-547-5974 BUILDING 14 Customer#000000014 KXkletMlL ARGENTINA0 ARGENTINA AMERICA 11-845-129-3851 FURNITURE 15 Customer#000000015 YtWggXoOLdwdo7b0y,BZaGU UNITED KI0 UNITED KINGDOM EUROPE 33-687-542-7601 HOUSEHOLD 16 Customer#000000016 cYiaeMLZSMA IRAN 5 IRAN MIDDLE EAST 20-781-609-3107 FURNITURE 17 Customer#000000017 izrh 6jdqtp2eqdtbkswDD8 BRAZIL 6 BRAZIL AMERICA 12-970-682-3487 AUTOMOBILE 18 Customer#000000018 3txGO AiuFux3zT FRANCE 0 FRANCE EUROPE 16-155-215-1315 BUILDING 19 Customer#000000019 uc,3bHIx84H,wdrmLO CHINA 3 CHINA ASIA 28-396-526-5053 HOUSEHOLD 20 Customer#000000020 JrPk8Pq RUSSIA 0 RUSSIA EUROPE 32-957-234-8742 FURNITURE
LuigiのS3モジュールにより前回と同様ファイルの書き込み・参照はS3なのかローカルなのかは、
ほとんど意識せず書くことができるのがわかります。
まとめ
今回はLugiのS3のモジュールでの参照を行いました。
次回はLuigiのモジュールを用いてのS3のファイル削除・一覧習得について取り上げます。
